Ông từng là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa IX, X;[5] Đại biểu Quốc hội khóa X, XII; Tổng Thanh tra Chính phủ Việt Nam.[6]

Ngày 9 tháng 7 năm 1968 gia nhập Đảng Cộng sản Việt Nam, được công nhận chính thức ngày 2 tháng 7 năm 1969; có trình độ học vấn là Cử nhân Luật (Theo báo Người Cao Tuổi thì đây là khai man lý lịch, vì tên ông vẫn còn nằm trong danh sách học viên không đủ điều kiện thi tốt nghiệp.)[7]

Ông từng giữ chức vụ Bí thư Tỉnh ủy Bến Tre, Phó Chủ nhiệm Ủy ban Kiểm tra Trung ương khóa IX.[8]

Tháng 6 năm 2006, ông Trần Văn Truyền được Quốc hội phê chuẩn vào cương vị Tổng thanh tra Chính phủ. Một năm sau đó, ông tái đắc cử với số phiếu lên đến 93%.[9]

Ông giữ chức Tổng Thanh tra Chính phủ Việt Nam từ năm 2007 đến 2011 khi ông về hưu.

Từ tháng 3 đến tháng 8-2011, chỉ 5 tháng trước khi nghỉ hưu, ông Trần Văn Truyền đã bổ nhiệm gần 60 cán bộ cấp vụ và tương đương.[10]